Is Personalized Modality Weighting Actually Personalized? A Controlled Audit of Per-User Weighting Claims in Multimodal Recommenders
多模态推荐中的个性化模态加权审计：每用户权重真的个性化吗？
🧭 个性化声明审计 · 多模态推荐 ★ 深度解读
Hangzhou Dianzi University · Hangzhou Normal University · NetEase Inc.
通过两个受控对比审计六种每用户加权方法，发现全局模态权重已捕获全部增益，个性化加权无一致效用，且普通置换测试会给出虚假个人化信号
📌 工作参考价值（4 点）
- 引入每用户模态权重前务必用全局权重作为基线：在电商/视频推荐中，若想对不同用户动态调整模态（如图文/视频/标签）的信任度，优先尝试一个所有用户共享的 global weight 并评估 PairAcc/NDCG/Recall。本文表明全局权重几乎吃掉所有内容增益，每用户加权不带来稳定提升。
- 评价个性化效果时同时报告 real‑GM 和 real‑shuf：仅用置换测试（shuffle control）会高估个性化程度，因为读取共享协同 embedding 的门能够通过模型容量产生“看起来个性化”的假象。必须对比最强非个性化基线（global weight）上的 utility gap，才能确认额外收益。
- 解耦门控输入，避免容量膨胀：若必须使用 attention 或 hypernetwork 生成 user‑specific 权重，将其输入从协同 embedding 改为独立 embedding（本文的 decoupled 变体），可消除虚假 identifiability gap，只保留真正的个性化信号。
- 通过信号植入校准审计工具：在启动一项复杂的个性化机制前，先向数据植入已知的用户模态偏好，检查模型能否单调恢复该信号。若自然数据上的效果远低于植入信号，可判断真实用户偏好信号不足。